億方公益沙龙第十期【实录】
★ 时间：2018年4月21日 下午
★ 坐标：北京億方公益基金会
★ 主题：好评估，大家“烩”
★ 主讲：金敏超 [菁莪二期伙伴，上海纽约大学讲师]
嘉宾阵容：
★ 专家代表：北京师范大学社会发展与公共政策学院的陶传进老师、上海映绿公益事业发展中心的庄爱玲老师、北京大学教育财政研究所宋映泉老师。
★ 项目方代表：北京歌路营教育咨询中心的岳雯老师、北京慈爱嘉养老服务有限公司的刁文老师、为中国而教的王南和荆攀老师。
★ 资助方代表：香港乐施会的林虹老师、敦和慈善基金会的王萌老师、爱佑慈善基金会的窦甜甜老师、億方公益基金的李北伟老师。
★ 专业评估方代表：明德公益研究中心王彩霞老师、七悦社会公益服务中心的卢玮静老师、德力社会组织评估与服务中心的陈薇老师。
—— 本期沙龙主讲人：金敏超 ——
【沙龙基调】
金敏超：各位尊敬的嘉宾，以及来自不同领域的专业观众们，大家好。今天的沙龙现在正式开始，首先感谢大家在“这么好”（沙龙当天是阴雨天）的天气下，抽出这么多的时间，来到億方基金会参加菁莪沙龙。今天沙龙的主题大家也看到了，我们想讨论“评估”这个话题。我是本次沙龙的选菜、配菜和上菜员，我叫金敏超，现在上海纽约大学教书，我还有一个重要身份是億方公益基金会的第二期菁莪伙伴，今天由我来主持沙龙。“评估”这个话题要讨论起来其实挺难的。沙龙一开始，我们先破题——为什么本期沙龙要选评估这个主题。接下去的时间交给在座的嘉宾和观众们。我们的流程大概是：先给大家讲讲“选菜”和“配菜”的过程，然后进入主要环节“烩菜”，最后再“上菜”，我们大家一起“品菜”。今天大家收获不在于我讲的内容，而是在座嘉宾和观众的思维碰撞中。
金敏超：我们谈起评估往往有以下几个特点。首先，评估是一个经常发生的一个事情，参与沙龙的伙伴几乎都曾以不同的角色参与过评估。
其次，它是很“杂”的，有各种各样的“评估流派”和“评估方法”，有根据项目流程分类的，对应“了解需求—设计项目—执行项目—验证效果”这个逻辑框架的需求评估、执行评估和效果评估。
有来源于教育学思维框架的“形成性评估”和“总结性评估”。教育的过程对应“形成性评估”，考察学生在教育过程中的收获和发展，以调整教育的策略。结束了以后有一个“总结性评估（结论）”。
也有根据不同利益相关方主导的评估所划分的第一方、第二方、第三方和第四方评估。第一方评估就是我们公益组织自己给自己做的评估。第二方评估是公益项目的受益方（目标服务群体）给项目提供一些反馈、评价。第三方评估即专业的评估机构参与主导的评估。第四方评估通常是指政府、媒体给公益项目和公益组织所做的评价。
从方法和数据的角度划分，有定量评估、定性评估。量性的数据通常对应结构化问卷，数字等量性的数据。定性评估主要是通过文字、图片、视频等质性数据来呈现。
还有针对于不同主体的评估，刚才提到的都是针对项目的评估分类，但其实也有针对机构的评估。评估机构时，项目便作为其中的一个模块，其他模块还包括机构的组织架构、人力资源、财务状况等。常听到的“几A级”社会组织就是以机构为主体的评估。
此外，还有参与式评估，这个是属于“参与式”框架中的，如果用参与式方法开展项目，那么其中的评估也是参与式的，由各方共同参与。还有影响力评估，它关注项目的最终效果，英文原文“Impact Evaluation”，“impact”可以理解成为效果，也可以理解成为影响力，即把“影响”延伸成为项目的“溢出效应”，对于其它相关的群体和整个社会，它有些什么样的影响力。
还有“对标评估”，即在业界里找一个我想达到其水平的机构，作对标，看看差距和异同。也有“投入产出比评估”，我理解它更多借用了商业的模式和思维。公益项目的投入是很大的，自然希望看到投入后的产出在货币视角下衡量的结果。
还有和评估比较类似的一些词汇，比如经常提到的监测。监测和评估经常被用到一起——监测评估。监测对应过程中的评估。还有咨询，现在有很多公益咨询的机构兴起，这也是和评估相关的一个领域，咨询的过程其实有很多跟评估类似的地方。除了上述之外，其实还有很多评估的分类。
但“不好”的消息是——评估不仅多，还很难。刚才罗列出来的任意一套体系，都不是2-3个小时能讲完的，很多需要一学期的课程，或者说几期满满当当的工作坊才能讲明白。又杂又难，就像掉入泥坑里爬不出来的感觉。那么为什么要讲“评估”呢？就是因为它特别重要！
庄爱玲老师说现在评估就是“刚需”。政府购买的项目基本上都要评估，基金会和被资助的项目也在主动地“寻找”评估，或者至少先往“评估”思维上做一些探索。这也是组织本次沙龙的根本原因，评估很重要。
总结起来就像一团乱糟糟的麻线团，但我们不能像小猫似地直接扑上去，弄到最后把自己缠起来了。我觉得要把麻线团理清总共分三步：第一步找到绳头，第二步理清一个结，第三步理完了。这也是今天沙龙的思路，第一步必须把绳头找到。
我觉得“绳头”其实在于“公益评估”的目的，是为了我们可以通过评估每一个项目，每一个机构，让项目的效果可以从“不好“到“一般”到“好”，机构可以从“混乱”，到“有条理”，到“可持续”。通过每一个项目及机构的改善，最后推动行业的进步。
庄爱玲：每个“绳头”一定是不一样的。
金敏超：所以我用了一个特别广的概念，对它（公益）好。
庄爱玲：如果一个项目是做培育的，那是对的，他去提升。但是可能其他的项目就是为了把这件事本身做好，不是培育。当然客观上在做的过程中，可能也有培育，但是第一目标可能不是培育组织，那么这个时候的“绳头”，可能首先要去关注项目的目标到底是什么？比如说是服务对象的改变，还是社区的环境改变，还是政策的改变，目标不一样，这绳头就不同了。
金敏超：首先非常感谢庄老师，我觉得交流的过程很重要，希望大家都能够畅所欲言。请庄老师“放过我一马”，咱们默认服务对象的受益，也包含在“项目做的更好”当中。
庄爱玲：是的。
金敏超：今天我们的话题叫“评估大家烩”，我们从来没有定义什么叫做好，其实我们也没有定义什么项目叫做好。那么我们的“绳头”是让项目或者机构变得更好，让这个行业变得更好。
庄爱玲：或者说，其实一个好的“绳头”应该是多方都改善。
金敏超：今天评估沙龙的设计，我们就找了“四方代表”——专家、资助方、项目方和评估方。这些都是评估的利益相关方，一个好的评估往往是多方合作的结果。
沙龙是思维碰撞的过程，我们掉到泥潭里，不知道路在哪里，希望最后会找出来，但还是有不确定性，所以大家希望能够包容沙龙的不确定性。因为不确定性和惊喜并存。另一点，希望大家在发言的过程中，基于实事求是和平等尊重的原则，闻道有先后，术业有专攻。
接下来是“烩菜”。再做一个小调查：觉得当前的评估是完美的，达到了让项目、机构、行业变得更好的目的，持这样观点的请举手。既然没有人举手，就是大家都觉得有“问题”。我们先把项目方放在火炉上“烤一烤”。项目方觉得现在的评估，问题在哪？
刁文：我现在参与两个机构的工作，一个是公益慈善性质的百年职校，另一个是专业居家养老的社会企业“慈爱嘉”，在这两个机构的发展过程中，我们均面对过不同层次和性质的审计和评估。
在这个过程当中，我认为大家从来不是一种对立的关系，评估方、评估服务购买方和我们项目方，实际上是合作伙伴。比如对于百年职校而言，我们通过给需要帮扶的年轻人好的职业教育，改变他们的命运，这本身就是很多资助人的愿望和初心。从专业为老服务的慈爱嘉来说，接受了很多政府委托服务，也是政府希望购买社会组织服务来实现其养老服务的公共职能。所以，在政府和公益领域，总是听到关于评估的探讨，这就是因为在具体做工作时，我们使用的是社会公共资源、是爱心人士的慷慨，所以在用这部分资金实现机构目标的时候，需要一个好的前提，就是公益组织和捐赠方有一个比较一致的目标。如果机构和捐赠方的目标是一致的，把事情做好，然后有一个很好的结果，呈现给捐赠方，实际上是大家共赢的一个过程。大家的目标一致，评估不是问题，如果作为机构当初只是为了获得项目、赢得资金，忽略了目标，那么在未来的评估中可能就不会那么和谐。所以百年职校和慈爱嘉，从来不认为评估是个问题。恰恰相反我们有大量的评估，无论是影响力评估、合规类评估、财务类审计或管理性评估，都给予了我们很大的帮助，完善了内部管理。因为我们与捐赠人有相同的目标，是要把共同的事情做好。
但是不是所有的评估都很完美，不可能有完美的事，如果要说评估能不能达到六十分，我觉得我肯定举手。现在评估能达到六七十分是很好的，尤其是政府购买服务类的评估，在很大程度上在帮助社会组织更合规、合法，别让他们犯错误。所以我觉得，在这个基础之上，评估挺好的，没有什么太大的问题，更多的是如何看待评估，这是我的想法。
金敏超：非常感谢刁老师，给我们定了一个很和谐的基调，我相信这是刁老师的真心话，但是我作为主持人，是“挑事”的。刁老师说，如果我们资助方和项目方都是一样的目标……有“如果”两个字，所以我可以假设，有时候资助方和项目方的目标是不一致的。那么我要把问题抛给评估方：当资助方和项目方利益不一致的时候，评估的过程中评估方代表谁？
卢玮静：我们会去影响资助方和项目方。七悦从2015年开始做政府购买评估，我们介入的目的就是要去打破原先政府购买评估里遇到的巨大问题。我经常问购买方：有四个筐子，活动、产出、目标和影响，你要什么？没有一个人说要“活动”，但是他们最后评估监测的全部都是活动，有没有签到表、有没有照片、照片拍的规不规范、是冬天的还是夏天的…..只要进入到这个体系，就会存在巨大的一个问题——项目越来越停留在“表面指标”的完成上，最终机构行政化、项目活动化。虽然我们以弱势的第三方评估机构身份进入到这个体系中，但是我们不代表资助方，也代表不了项目方。从表面上来说，我们要为甲方（出资方）服务，但是这个过程中，我们有很多精力用在“影响和改变”甲方上。我们这几年不断建构出一个新的评估框架，观察项目的重要节点在哪里，项目的真正专业模式和实际长远的社会效果如何（包括人的改变和社会结构的改变，而不是一次性的活动），如何让政购项目真正进入到优胜劣汰的局面，这个过程之中，非常考验我们的是我们的专业能力——也就是评估方有没有能力，不通过表面的形式指标就能满足资助方的需求，甚至超越他们的需求，也能够让执行方对于评估心服口服。如果有专业能力，就可以改变甲方或者乙方。如果没有专业能力，什么也做不了，只能被甲方所指挥，或者与乙方处于攻守状态（但评估不是为了抓住乙方“把柄”的）。
金敏超：改变资助方的能力，具体是什么呢？
卢玮静：让资助方发现，除了旧形式的评估外，还有一套可替代的方式，能够帮助他解决问题。如果评估方能帮资助方解决问题，那么就可以改变他，如果无法帮助他解决问题，就只能加剧评估的形式化，把评估推向一种传统的事业单位的工作方式，对上负责，不对下负责。所以最关键的一点在于，评估机构能不能有一套体系，让部门政府不再用传统的方式来管理项目。不管是受益方的改变，还是创新解决社会问题的方式，评估方需要能够帮助资助方评价出来，甚至影响说服资助方。要么评估方就变成政府的一个“附庸”，要么就去引领和改变，这一点是我们介入政府购买项目评估里最核心的一个选择。今年我们才能说在小范围内做了一些改变，还不能说做到了极大的改变。七悦做的项目比较多的是和北京市残联、北京市民政相关的。现在用到中促会平台上社会组织申请南南合作基金的这一套体系里。
金敏超：我觉得玮静说的很好，很感谢！“火”终于烧到了资助方。我想抛给资助方的问题是：资助方在评估过程中，究竟想要什么？
李北伟：我做一个很表面化的反馈，億方资助了歌路营的评估，还有玉树教育项目的评估，其实从大的方向讲，是结果导向的。但是在具体选择的时候，包括我们自己在河南成立基金会，想开始做基线数据收集和评估，就有很多种备选方法。我们首先考虑它的客观性，客观性背后隐藏着专业性，现在这么“杂”，我就有点晕了。但是实际操作的时候，还有“成本”和“必要性”需要讨论。我们背后还隐藏着一个高手没说话，白钰，他是做随机干预实验的，就会遇到成本和必要性的问题。成本不仅是钱，还有时间。所以我觉得首先是希望结果导向的评估，其次是“恰如其分”的评估，实时实地的一种评估，考虑它的客观性、专业程度、成本和有效程度。
林虹：我觉得今天其实资助方应该还要请政府部门的代表。卢老师刚才提到的问题，停留在活动、产出上的评估，是因为很多政府投入的项目在设计的时候，就是“产出性”的。从乐施会的角度来说，我同意李老师的是，我们希望首先评价的是改变，或者是项目有什么样的成效。影响力是更深的问题，需要投入更多的资源来做。所以最基础的应该是去评估它的成效性，但现在的问题是，我们其实应该回到项目设计之初的时候，很多情况下，大家在设计项目战略目标及衡量指标的层面，都是活动或者产出型的，没有办法做到成效性的指标。最后要做评估的时候，就不知道要评什么，能够评的就只能是活动了。所以有的时候如果我们要谈评估，应该追溯到最早的项目设计上来。
金敏超：专家不代表任何方，随时可以发言。
陶传进：我们在评估项目入围的时候，没有一个专家是根据他的项目活动量来决定是否入围的，所以千万不要误解。政府和资助方不是根据你开展的活动来决定是否入围，而是根据项目的技术含量，以及应用技术所解决的问题。政府的用意非常好，但不会做，就对第三方的要求非常高。而第三方处于弱势，这是矛盾纠结所在。如果我们把入围时候评估专家的发言和结项时的发言进行对比，就会看到多么荒诞。入围的时候问项目为什么这么做，都有原因的，到最后不管这个原因了，就看有没有照片，其实评估好多时候根本就不要照片。
庄爱玲：我补充一下，很多资助方在购买服务时自己没有对“标的”问题做需求调研，所以他其实并说不清楚自己到底要什么。有时候把伪需求变成一个“真需求”，来做招标。很多社会组织要拿这个标，可是他也不知道这个需求是真的假的，也没去做过调查研究，就根据资助方的需求做了一个相应的方案。然后两方一看差不多，就签了合作协议。所以评估的时候会发现非常困难。那么评估方其实应该要提出去做基线调研。比如受益方到底要什么，政府已经在社区做了些什么，这些组织本身的能力在哪，有什么资源等等。这个过程中，有的时候受益方更加弱势，比评估方还要更弱势。那么在这个时候，评估方其实是有能力在中间做协调的，要把你发现的问题，向资助方说明，如果不做调整，那最后的结果肯定不好。
宋映泉：资助方我觉得大概可以分成三类人，政府采购的目标是把钱花出去，不太关心绩效。尽管现在很多政府部门有绩效评估，但实际上只关心过程，不知道结果是什么。这是第一类，比较low一点的。社会组织当然好一点，分两类，有一类了解自己，关心绩效，需要核心的结果导向，专业化。比方说在场的人，算是不low的这种。在引领评估行业，影响资助方做一个智慧的投资方。但有些资助方是稍微low一点，只关心把钱花出去，我觉得也是“伪社会组织”，属于比较low的资助方。
评估方有些确实是非常能干的，能够知道项目的症结所在，不在乎过程，而在乎成就，是outcome导向的。是否发生改变了，这才是重要的。但是据我的了解，有非常多的评估机构其实是讨好项目方，因为评估的钱从那里来，包括讨好政府。
金敏超：专家已经挑起了资助方和项目方的“矛盾”，而评估方其实应该扮演“协调者”的角色。我们把问题抛回给评估方：评估方自身定位是什么？应该扮演这样的角色吗？
王彩霞：我们提到评估的时候，不仅仅是政府购买服务的评估，还有机构评估，以及普通的项目评估，三者有一些共同的地方，也有一些不同的地方。明德主要做基金会大型项目评估，所以我基于这些经验来分享。我们在分析评估目的的时候，可以从“对内诉求”和“对外诉求”两个层面来呈现。但我今天突然有了一个想法，我们在谈政治、经济、技术、社会和生态这几个概念的时候，其实也可以和评估的目的对应起来。
比如说政治可以对应合规性、合法性的诉求；经济对应我们资金的使用情况和结果；技术层面上我们也可以去看项目在整个过程中的技术含量和运用的怎么样；还有社会层面，公益项目就是解决社会问题的，我们项目产生的结果和影响归到这个层面；最后一个是生态，我们在评估的过程中，也是生态的一方，要促成整个生态的完善。再回到资助方和项目方的关系问题，或者说他们之间矛盾调和的问题。从这几个方面来分析的评估目的，他们并不完全冲突，只是重视的程度不一样而已。比如说政府、基金会的目的之一可能更多关注资金是否花好。项目执行方更多的是希望通过这个项目去解决社会问题，而这个问题的解决，其实是有一个“时间”上的矛盾点。短时间内这个问题可能很难解决，但是长时间资助方又不允许，所以说它的矛盾使得各自注重的方面有所不同。
其实我之前的观点和现在的观点也不太一样，这几年一直在摸索——评估究竟要发挥怎么样的作用，它的角色是什么。我们真的完全独立于他们，客观观察他们吗？不做任何的干涉吗？可能一开始我的观点是这样子，特别强调原则性，有点为了原则而原则，但是这两年我觉得不是这样的。评估一定是通过这个过程去促成资助方、执行方从博弈的关系，到合作的关系，刚才宋老师提到这个协调，就是协调他们的关系，而不是激化矛盾。所以我觉得评估在这里，它所发挥的作用和它所具备的能力是非常强的。我们如何真正的从一开始和资助方沟通好评估目的非常重要。也有很多资助方在一开始对评估的认识还在基础层面上，不知道评估究竟是要干嘛的，可能对评估的诉求非常多。所以在一开始的时候，一定要非常注重跟资助方的沟通，给一个很好的引导。
在评估过程中，我们跟执行方的沟通也非常非常的重要。不要让执行方感觉评估方只是自上而下的考核他，或者监督他，而是一个平行的关系在帮助他，所以评估在这个过程中，怎么把自己角色定位好，怎么去做，非常的关键。
金敏超：挺全面的，但是我接着挑事。首先我想问一下资助方和项目方，刚才王彩霞老师谈到你们两方的诉求有差异，是这样吗？
林虹：刚才我们提到了很多，都是在讲评估问责，就是“钱”花的怎么样，有的时候我们会忽略掉评估还有学习的功能，从当中总结经验，用什么样的策略，实现什么样的目标，策略和方法是否得当。我觉得学习的功能是很重要的。所以需要资助方、评估方、项目方，协调跟沟通评估在学习方面的目标。无论如何，钱花出去，问责是首要的，但不能够偏废学习的方面，评估的过程和结果都是一种学习。
金敏超：问一下项目方，你们更希望学习型的评估，还是更喜欢问责型的评估，你们在评估里是否有学习的需求？
岳雯：其实歌路营当初是自己想做一个评估，所以我们本身是希望通过这个评估，一个是看项目的效果，另外一个也是希望学习一些东西，包括以后怎么样评估我们其它的一些项目，帮助我们改进它。评估结果有可能也会影响之后的一些项目调整或是修改。
卢玮静：现在基金会找我们做评估，其实他也是项目的执行方，所以在这里面资助方跟执行方是合而为一的。对于绝大部分找我们来做评估的组织，他特别关注的是一个学习的过程，就是怎么重新看待项目，以及这个项目中，有哪些关键性的环节该如何做，如何改进。从初期项目设计，以及项目执行到项目结项，尤其是在项目转型的时候，评估方要给项目方最核心的是，从外部的视角，帮助他们共同梳理和认识项目独一无二的优势，基于它所处的时间、空间和政策范围，做出来项目一个最优解和最高效的一个执行模式的探索。评估方是跟项目方共同完成这个探索的过程。
在这个过程中，双方有一个相互学习、相互提升的一个过程。我们作为评估方，我们不能说自己对于任何领域都了解，我们可能相对有一点外部优势，比如说我们团队在组织和项目管理方面这些有一些积累和优势，在方法论上一直在琢磨如何做到有效的评估等。但是每进入到一个领域，我们一开始都是先去开放地学习项目方，在这个基础之上才共同探讨、思考。我们去年做的好几个评估都是二次评估，他们做出来的第一个评估报告不知道拿来干什么用，孩子提高了百分之多少，跟项目有什么关系，该怎么去改进？项目碰到了困难，我看了报告后还是认识不到问题或者也解决不了。包括有一些项目是测量不出来的，我们去年做了一个项目，可能前后测看不出来效果，但是他觉得这个事情特别有价值，也有实质的改变，但在短时间之内无法测量，那他就疑问：难道我就要一定要用前后测量这种方式来评估。
还有一个政购案例，他们做答辩的时候，专家建议他要做一个干预前后测量，项目方说不需要那样的测量就能知道这个项目的影响效果，整个项目资金都不到二十万，为什么还要做那样花费大量成本的事情，还不如在项目真正的过程之中支持更多的志愿者开展行动？这是执行方的困惑，他知道过程中，孩子是怎么改变的，怎么发生的，在有限的人力物力选择下，就一定要测出来吗？比如说自信心提高了5%，这代表着什么？我觉得这时候的评估需要回应项目根本性的症结和内容，才能在一个项目生产过程里面提供知识。
金敏超：大家都希望能够从评估里学到东西，但是这件事情不常发生，为什么？
李北伟：我想提一个不同的意见，我觉得评估是站在一个时点上，如果向前看，就是学习型和不断改善，但如果向后看，我就是结果导向问责。第二，我们都是成熟的组织对接成熟的组织，不是来做青年培养的，所以我们在项目设计上，就没有给太多的学习的空间。中期评估就看进度是不是对的，是不是走歪了。所以这里学习的程度最多是20%。
卢玮静：但是在结果层面上，你觉得理想值是多少，怎么确定？
李北伟：在歌路营这个情况下，我们站在更宏观的角度看，我们想通过专业的评估，看看歌路营这个项目有什么发现，然后推而广之。
卢玮静：我们做一个假设，在这个发现的过程中，其实可以提高30%，但是实际只做到了提高10%。我们是觉得这10%已经特别难能可贵了，还是应该提出项目需要做到提高30%，这个时候是不是要再往前推进？
李北伟：如果很具体的话，就是要解决什么问题，项目是怎么回应的。评估的过程，要还原到初心和原始的设计，是不是按最早的蓝图执行，这有问责的一部分，包括人、财、物和时间的投入，以及方法论，从这个基础上，看看有没有什么惊喜，或者负面效应。这是一种风险管控，如果我们发现有效果，就极具推广性，但是具体到量上不知道是多少。
陶传进：学习型评估本身就包含着要达到的目标。100分意味着原来承诺的东西都实现了，组织在项目前后能力基本没进展。如果100分都实现了，然后组织又有进展，就额外叠加了惊喜。在学习型评估中，是更容易发现惊喜的，所以其实是一点都不矛盾。
庄爱玲：刚才提到成熟的组织对接成熟的组织，但在现实中，我们基本找不到。有的项目就是探索性的新项目，很多公益基金会资助探索一个新的项目，这个项目本身是一个初创期的项目，所以也在探索。哪怕承接组织已经发展到一定阶段，但是这项目对他们来说，是一个初期的项目。
第二部分，组织本身也有一个发展的周期，如果组织发展快速，甚至接近成熟的时候，可能项目、业务比较成熟，那这个时候学习的部分减少，但是初期学习的部分一定是比较强的。比如说敦和的优才项目，牵扯到六七十家机构，5个基金会的平台。但是对我们来讲，这是一个研究型的评估项目，对各方来说都是学习为主，这里有很多组织已经比较成熟，可项目是一个初期的项目。
另外还有一个部分，我觉得这也跟行业的发展周期有关，那就是从目前国内来说，行业也是发展初期。因此评估在目前来讲整体上是“以评促建”。大家都在共同探索学习，然后不断完善各自的运营，找到一个更优的方式一起往前走。
宋映泉：我先转换一下身份，从专家转成评估方。其实资助方、评估方和项目方的冲突是非常自然的，我们在冲突中学习，但是要清楚最核心的绩效本身，影响力是不是有效，其次才是我们在当中彼此学习。
其实评估方在这个过程学中到非常多的东西。比如说，我们从哪些方面来评估，outcome是什么，怎么设定，哪些方面要发生改变。一开始歌路营说“心理素质”重要，要发生改变，哪些方面呢？心理要测量的太多了，项目也没表达清楚。我们来来回回沟通非常多次，我找了一位哈佛教育学院阅读方面的专家加入，他说关于睡眠的项目需要测睡眠质量，还有身高体重，因为睡眠好的孩子身高体重会变化，所以后来我们把这些都加进去了。对我们来讲是非常好的学习机会。
对于岳雯团队来说，在这个项目中，“校园霸凌”一开始没有要加进去的，后来我们觉得这个可能是一个非常重要的维度，结果发现这方面的变化是非常显著的，这是项目方没有料到的，所以我们在过程当中有非常好的学习。
金敏超：请项目方回应一下，评估的过程是这样的吗？
岳雯：确实如宋老师说的这样，我们一开始是抱着学习的心态去做这件事。因为我们自己开发完睡前故事项目后，自己做了一个比较简单的小规模评估。然后看到了一些效果，但是后来也有人说这不够科学，所以我们才想请一个更专业的机构来帮我们做一个评估，大家一起学习。
宋映泉：其实他们最早在重庆做过的评估后来成为我们评估的基础，因为那些发现非常的重要。比如说，非住校生也被影响，住校的同学给他们讲睡前故事，这个后来成为我们分析的一些维度。所以我觉得早期的那个评估尽管在方法上有些纰漏，但其实非常重要，所以你们不要妄自菲薄。
金敏超：气氛又开始变和谐了，不是我想要的。首先我们在评估的过程中，经常涉及到这样一个环节——制定评估指标。到底应该由谁来设计指标？请资助方先回应。
窦甜甜：爱佑基金会做的是机构资助，和项目资助不太一样，我们的资助的是机构的管理运营资金，所以整个评估的体系都是我们自己设计的，过程中有请第三方加入，做一些优化。但具体要评估机构哪些方面，以及整个评估周期和呈现方式，都是爱佑主导或参与去完成的。
我们最开始设计资助项目的目的就是推动行业发展，同时也发现了一个客观存在的一个社会需求，就是社会组织发展到一定阶段之后，碰到一些瓶颈，在资源、人才，或者运营上受到了限制，其实资助方并不能帮项目解决这个问题。资助方采购项目，要一个项目汇报，而且是一次性的，但是机构资助是一个长期的阶段，是更长时间的一个介入，就是不仅要给他钱，而且要给他一些相关的管理咨询，或者支持，所以基于这样一个背景，以及我们的整个业务模式，我们认为评估更不容易依靠第三方，因为我们需要过程中一直对机构有陪伴和比较深入的介入，这是不可能借助第三方短期的评估实现的，所以我们自己会主导这个评估的体系和指标。
王萌：评估指标是双方共创的，资助方和被资助方一起探讨最终达成指标共识。敦和基金会2017年成立了研发部，未来在大部分的项目评估会由机构自行完成。具体到某一个项目上，以机构支持的项目为例，比如我们认为应该对被资助方机构资源拓展方面设置考核及评估指标，但具体指标是业务拓展10家还是20家，是被资助方依照他们对自己的未来发展的预期和现有基础来提出的。
金敏超：我们把条件做限制：第三方评估中，资助方觉得指标应该谁来定？
王萌：优才计划是请映绿做的评估，评估方案是资助方、被资助方及评估方三方共同讨论而成的。在评估方案设计之初，我们提供了所有的相关基础资料、合同、方案书，前期调研论证设想等，请映绿及优才计划枢纽基金会一起来参与讨论，最终设计出评估方案。
宋映泉：我觉得出资方可以提出他主要的一些诉求，但我觉得评估方应该是最后的决定者，因为他有专业水准。最后如果发生冲突的时候听评估方的，他有独立性跟专业性。
金敏超：咱把问题转换一下，评估指标最后由谁“拍板”？
李北伟：作为我们基金会来说，我们不是专家，不应该从我们这发源，我们的优势是可以看到不同的项目，所以我们有“打酱油”的权利。指标上我觉得应该是执行方和评估方决定，如果能早期介入的话，在项目设计阶段就应该有指标，而不是到最后才出现指标。
刁文：个人认为这里要将学习型评估和合规性评估分开，合规性评估有很强的购买方意愿，指标更多对是否达标进行判断。而学习型、发展性的指标，会有捐方意愿、执行方实际情况、评估方的判断等多元因素影响，但既然评估方作为第三方身份介入，我认为这类评估的指标应该是建立在评估方对执行方的深入调研基础之上，由评估方来确定，这样比较理想。
评估方要深入了解项目执行方的领域、业务和能力，实际上这是双方配合的一个过程，评估介入之后，无论是否实现了目标，或者有很好的结果等等，从某种程度上来说，他和项目执行方配合会更多一些，但是又要保持相对独立。所以我个人认为，最后的评价的方案、指标，以及最后结果的评价角度，肯定应该是由评估方来最后决定、最后实施。但是在过程当中，我们希望评估方能够很好的去了解项目执行方以及所从事的这个领域。
岳雯：我们也是跟评估方前期要有一个很充分的沟通，让他可以了解我们项目的目标，和最终我们希望能够在哪些方面有些影响，但是最后这个东西到底能不能做，还是要依靠他们的专业性去判断。
宋映泉：我想补充，我认为评估也是一个非常专业的事，我觉得还需要把评估和合规性与审计区分。我们认为找照片就是合规性审计，不是评估。
李北伟：是不是都把信用该解决的问题，都放在合规性审计里面。
刁文：但是它现在叫评估，所以我觉得还是要把评估和合规性审计分开。合规审计没有什么话语权的，甲方说什么就是什么，政府说是什么就是什么，你没有什么申辩渠道。，作为项目执行方来讲，你机会比较好的话，在某一些什么场合，可以跟领导进行申诉，这是有机会的，我们也做了大量这方面的工作。
但是从评估的角度来说，我还是认为它一定要保持第三方独立。那么评估方和项目执行方，在指标设立过程当中肯定会有分歧，我们也都经历过，有的怎么跟项目方解释他也不理解，或者也是我们没有理解项目方想表达的观点，这都是非常正常的，而且是非常好的，也是很和谐的。只不过是最后呈现的时候，项目方还是可以自己单独再跟捐赠方报告，觉得第三方评估结果可能没有说出你想说的话。但我觉得无论如何评估这一件事，应该由评估机构来全权处理，要不咱们找他干嘛。
王南：我们还没开始做评估，最近跟金老师开了几次会，就是了解这个东西，感觉差不多跟两位的观点一样，我们也是认为第三方确定这个指标是更合适的，因为第三方的身份，有客观性和专业性。但是就像刁老师说的，我们也很害怕遇到小白，他可能对你的了解不够，所以我们项目方在找第三方的时候，是非常慎重的，我们可能用很长的时间去了解现在市面上存在的第三方评估，然后我们再进行一些对比。
陈薇：通常这个情况是监管层和出资方提出评估指标，然后评估专家参与，最终评估机构去参与评估，目前是这样的模式。评估机构只是依照专业把指标体系做出来，然后交给监管层和出资方去考评，不是某一方拍板。毕竟评估结果大家都很关心，北京市民政局和民政部的星级指标，现在大家都非常渴望星级越高越好。出资者也关心到底这个项目执行方有没有达没达到我想要的结果，因此指标肯定是从他自身的需求去制定。
王彩霞：我觉得还挺幸运的，明德遇到的所有委托方，几乎都是以我们为主。在说具体的之前，我是想先对指标做一个界定。指标可能包含微观的，比如产出指标和效果指标，还有整体的评估指标。如果是产出指标和效果指标，假如项目执行方非常专业，在设计之初其实就是非常清楚的，这个情况下要以他的为主，然后我们可以再根据整体对项目的了解，再去抓取一些合适的补充。对于整体的评估指标体系来说，基本上都是以明德出具的为主，委托方和项目执行方认为我们非常专业，这个过程中我们会做一些沟通。
卢玮静：刚才两位老师讲的是不同层级的评估，一个是政府的，比如说1000分的等级评估，那个是固定的。然后明德讲的是一般项目评估的指标，绝大部分都是由评估方征询各方面的意见制定，但其实我想跟大家说的是，很多情况下进入一个评估现场时是没有评估指标的。
即使我们征询了资助方和评估方的建议情况之下，做这个项目评估的时候，也可能没有评估指标。当然我们碰到过无数次，不管是资助方还是项目方，都担心该怎么评估，没有指标行不行。我们可能会保持一种隐约的神秘感，问出来的问题他们可能也不知道为什么要问这个，最后出报告的时候，才恍然大悟，原来项目是这么回事，原先他背后蕴含着这样的道理，原来给学校支持的项目调动校长的责任主体意识才是关键节点……实际上这是现状，我们的指标往往是随着项目“生长”出来的。所以其实在进入到一个项目现场的时候，我们在很多情况下都不知道我们的评估指标是什么。
金敏超：这一轮过后，大家大概知道了怎么一回事，资方认为评估指标最好是项目方提出，然后跟评估方讨论。项目方说最好评估方能够了解我，然后出一版评估指标。评估方有自己的苦衷，其实我们面对的是资方和监管方。可以说有分歧，也可以说没分歧，我们现在把时间交给专家，来做一个小结。
庄爱玲：我先把身份转换到评估方。映绿从2005年就开始做评估，从做国际研究，政府的双边合作的项目，国际NGO的项目，然后到基金会项目、政府购买服务，所以这中间其实两类都有。一类就是大家出不同的指标，然后会有一个统合，在这个统合的基础上，再根据具体的组织或项目再去做分类评估。还有一类创新性的项目，其实资方也没什么想法。
例如敦和做优才项目的时候来找映绿，我们问这个评估最终想了解什么。敦和期望了解通过优才计划的资助之后机构的筹资额到底有多少增加，对机构有没有帮助。我们觉得如果这是唯一的指标其实很难把握，为什么？因为对于草根公益机构，包括平台机构，有很多潜在的相关因素。比如统一10万元资金，北上广深一线的可能是不够的，但是四线城市的机构，可能招两个人还富余。第二个部分就是机构是否可以招到这样的人才，还有一个部分就是平台机构对网络中草根机构有没有提供相应的支持，以及草根机构自身有没有能力留住人才。当时要求最好是跨界人才，企业公关、传播、市场的人才能够过来，问题在于草根机构的文化和企业文化不一样，我们能不能留得住人才。所以当时我们做了大量的基线调研，不仅仅是听资方、董事会、理事会和出资人说想要什么。与此同时我们去了解壹基金、银杏伙伴、阿拉善、西部阳光还有四川省慈善会不同的诉求。然后我们再听这69家草根机构的诉求。但是有一点，就是如果我们把机构的筹资额作为唯一的指标，大家觉得是不够的，因为背后有很多的相关性指标在影响筹资。我们做完了整个基线调研以后，再去设计了优才计划人才素质模型。这个模型是最后映绿拿出来，但实际上是四方共建，就是既有资助方、平台、草根机构和我们。最后以这个为主，再进入到中期的评估，结项，以及中间还有监测，不断的跟进。比如说中期的时候，也会跟各方做分享，对于评估方来讲，其实也是新的学习，就是通过互动，不仅了解了整体的发展情况，实际上是一种新的评估的模式，因此从这个角度来讲：评估一定不是完全一家来做的，它一定是一个共创，共同学习，然后不断完善的一个过程。
在这个过程中，几方是有信任的，沟通是建立在信任的基础上，评估方还要保持专业性和你的中立性，从这个角度来说，第三方的机构在这里起到一个粘合剂的作用。
陶传进：现在评估方、项目方和资助方都在初期阶段，指标如果不协调不一致的话，是很难做成这个事的。但是有一条这个指标一定得评估方认可，这是一个逻辑关系，这不是一个权力关系，因为评估方要对结果负责，如果他不认可，结果没人负责。第二，实际上评估方上并没有那么高的权力，为什么？因为资助方选择评估方，在选择的时候，就已经有了评估脉络或意向，所以这是一个市场关系，千万不要把政府的思维拿过来。第三，就是评估指标，如果资助方硬要塞给我，我很快就把它推翻了，为什么呢？2010年第一年评估基金会，用民政部的指标，结项统计发现90%的权重都被两个指标决定了，一个是资金量，第二个是完全可以“制造”出来一套指标。我们就告诉民政部这个评估指标不好，接下来第二年就开始用我们自己的指标了。第四，如果政府要用那套指标“卡”我们，也卡不住，实际上我们在“底下”的“操作空间”是最大的。第五，那些想在其中投机取巧的评估机构，也有足够的空间。
宋映泉：我稍微换一下角色，我想谈一下专家在这过程中，对资方，还有项目执行方的作用。其实有些聪明的资助方，在项目实施前，就会找专家来看，比如说项目的KPI是什么，outcome是什么，有些专家不是小白，尽管专业领域差的非常远，但是他基本上可以看得出来，是不是靠谱的proposal。我简单的讲，专家在过程中可以来帮助资方做一些重要的决定，而不是说到了已经谈的差不多的时候要拍板，就欲罢不能了。
庄爱玲：我觉得在评估中，信息互通是非常重要的，优才计划评估里，我们在一开始的时候就发现数据没有共享，所以我们建立了一个云库，每一期，每一个组织，每个月都会上传到云库，及时更新，这样每一方都能看到，再及时跟进，对于捐方、评估方和受助方有很大的帮助。
另外，每一个项目其实都要去做调整和优化，要根据它实际的情况。通常我们在做一个新项目的时候，项目领域不是太熟悉，会请几个专业的顾问。比如当时优才项目我们就请了两个专业的顾问。以此来确保既有内部的视角，还有外部的视角。
金敏超：评估方也有话说。
王彩霞：我不是单独针对这个问题，提一个小小的建议。就是我们在回应同一个问题的时候，出发点是不一样的。机构评估、项目评估、政府购买服务评估是不同的，方式、形式和目的是不一样的，我担心对评估不了解的同仁们，在我们的对话中更容易乱。
卢玮静：上一个话题一直讨论的是资助方、评估方跟执行方的关系。其实这是一个多方相互选择的过程，评估机构也会慎重的选择资助方和执行团队的。比如说我们团队选择评估对象有两个最基本的入门条件。一是真心实意的做这件事情，想要改变，而不是做一个虚伪的或者是宣传性质的事。这是我们最根本的第一个条件，不管钱多钱少和其他。第二点，我们在事前都会用多种方式沟通，就是在你进入之前，通过选择的过程避免后续的矛盾跟权力的争论。我们基于客观事实来进行评估，以及我们在这一方面的观点、看法。当然你最终可以选择不发布这个报告。在这个过程之中，最重要的是评估方体现出一个什么样的角色，如果完全是一个应对甲方的角色，那其实是把自己的“空间”给做小了，在这个过程中通过各种方式传递评估情况，绝不仅仅局限于评估报告。在这种多次选择的情况之下，三方矛盾的问题，是可以一定程度上得到解决的。
金敏超：讨论到这里，我总结一下我们的小共识。
评估门类确实很多，但你首先得明白自己的机构想要什么。评估是一个互相选择的过程，在这个过程中规避了一部分的矛盾。
其实互相选择的过程里，我们谈到理念、模式、诉求，但大家一直没有讨论到“钱”。我想抛出这样一个话题：评估到底应该投入多少钱？这回从被评的项目方开始，你们觉得做一个评估，应该花多少钱？
刁文：对于项目方而言，我觉得这个“钱”是打引号的，比如说行政管理成本就会是一个非常现实的问题。我们还是要把评估分类，对于合规类评估我觉得它应该是日常机构运营的一部分，所以很难说单独要为这一件事付出多少成本。从学习型评估的角度来讲，这个成本就不一定完全是管理成本了。
岳雯：我们的钱也是从资助方获取来的，所以当然是越低越好。但实际上我们最后这一个项目做完之后发现是超出了预算。因为项目有些修改，范围和样本量也扩大了，所以就会超出预期。我们自己要承担这笔费用也比较困难。
刁文：其实对于项目执行团队来说，评估的整个过程还包括其它一些不确定性因素的支出。比如为了改进工作所付出的费用，员工必须承担工作失误的时候劝退的费用，这样的人力资源成本也都是有可能存在的。我个人认为它也不是越低越好，为了机构长远的发展，评估类成本是不可避免的。
金敏超：感谢项目方，我们听听资助方对评估成本怎么看？
窦甜甜：我们现在一共资助115家机构，从我们的观察来看，不管是初创期阶段的机构，还是相对成熟期阶段的机构，单独拿出一部分资金做项目评估，或是在机构内部设立一个全职的评估专员都是非常“舍不得”的。大部分公益机构还没有走到这个阶段，或者说根本就没有多余的经费去做一个评估，去证明项目的有效性、说服资方给我更多的资金支持、对社会有一个更清楚的回报。我觉得机构能够投入多大的精力，去做评估这个事，是跟机构本身所处的发展阶段有关系的。
歌路营这个例子来说，歌路营应该是从12年正式做《新一千零一夜》项目，他们在15年之前做了一个小规模的评估，那这个阶段，其实是想证明项目的业务模式对服务对象的有效性，确实能解决这个群体的社会问题的。上一次歌路营大规模的评估，应该是在15年开始。规模到了1万多样本，资金额度据是百万量级的。这个时候歌路营的阶段是已经开始有规模化的复制，需要更大范围的去证明，项目对受助对象的影响到底是多少。所以它对自己的评估提出了一个新的要求，就是需要更精确的证明项目模式是不是有效，然后怎样丰富这个模式，来更大程度的影响受助对象。另外一方面，最终所有的社会组织都是要面向一个社会问题的解决，那么要告诉资助方、公众、所有的伙伴，我们机构所面对的社会问题，能够多大程度的被解决。
所以说机构能拿出多少钱来做评估，是基于对机构评估的需求，和资金空间，并不是一刀切的状态。
所以说机构能拿出多少钱来做评估，是基于对机构评估的需求，和资金空间，并不是一刀切的状态。
金敏超：我能不能做这样一个测试。比如说，资助方资助的项目款是500万，你愿意拿出百分之多少用做评估？
窦甜甜：首先爱佑现在不管是100万资助还是1000万资助，都不是项目资金，而是对机构的支持，所以不太好确定拿出多少做评估。但是我觉得这个事可以基于业务目标来谈。
林虹：首先介绍一下乐施会的情况，我们内部对于评估有一个规定标准，就是满3年的项目必须要做评估，达到一定的资金额度的也必须要做评估。我们在评估方法上，未必全部都找外部专家，因为找外部专家确实成本很高，有一些是我们项目团队跟乐施会的监评团队及合作伙伴一起来做内部的评估，有一些项目会邀请外部的专家来做评估。
这个比例真的很难说，一个项目不能只看资金额度，还要看到这个项目它的评估难度，需要投入的技术。做预算的时候可能要考虑到差旅、开发评估方法的人力投入，这需综合考虑投入多少的额度。一定要说这个百分比的话，不代表机构意见，我个人觉得5%左右，或者到10%，有时候是可以接受的。但还是需要强调，要看具体的项目。
王萌：我认同乐施会老师的意见，不能以项目额度来决定可能会产生的评估费用。因为有些项目金额虽小，但因为项目模式较为创新、涉及的相关方比较多、项目地的分布广泛等原因，评估工作可能也会需要很多的智力和人员差旅的投入。
李北伟：这个事情有四个方面的考虑：第一个是定性上这钱应该花，肯定要花。第二个就是它确实有个时机，有些项目不成熟你评它没意义，萝卜还没长大你就拔出来看，没有意义。第三就是从定量这个角度，还是有一个互相报价的过程。我可以给一个回应，4%差不多。一定要是根据需求情况，否则就不应该做。
金敏超：评估方对评估报价这件事怎么看？
王彩霞：大家刚才都提到比例问题，国外现在基本上有个固定比例。首先，他们对评估的需求比较确定，然后评估的技术也比较统一，所以基本上很好定价。但是国内情况比较复杂，首先大家对评估的需求不一样。第二，评估介入的时间点也不一样。事后评估，还是全过程评估，它们的成本相差非常大。所以当委托方问我们的收费标准时，我一定要先问清楚很多方面，比如项目本身的情况，需求是什么，希望评估从哪个环节介入，评估的范围是什么等等。
我再谈另外一个问题，就是我们怎么看待评估。对评估的定位不一样，那整个设计方的需求和评估方的方式方法也不一样。传统意义上的评估，其实就是比较，一开始定了一个目标，然后去核实一下目标实现了没有，就是去核实项目的有效性是什么。大家普遍做的是：回答了有效性是什么，然后再回答为什么有效。基本上能够做到这两步已经很不错了。但我们秉持的观点是在这两个基础上，还要回答为什么没效，以及怎么做才能更有效，一定要关注于它的发展。所以我们对评估的认识是什么？首先我们做评估一定是让它产生作用，这是我们对评估的一个角色定位，就是要促进发展的，明德在传统评估的意义上增加了一个咨询的功能，所以我们对人员的要求比较高，我们中心现在的评估人员，经验都在6年以上，所以我们的人力成本就会比较高。另外我们会借助外部专家的力量，但是大家都很忙，能参与就已经非常好了，所以我们还是大部分依托自己的专业人员。
第二，涉及到我们过程中到底是要投入多少人力和时间，包括出差和本地成本，各方面的因素很多，所以我们不会给它一个标准是什么，先沟通清楚，然后测算一下。不过经过这几年的探索总结，有两个比例可供参考，但并不适应于所有项目，依然只是适应部分项目。结项后的评估，基本上可能在3%-5%的范围内，过程中的评估，基本上在8%-12%这个范围之内。最终大家还是要根据实际情况来定。
卢玮静：我最怕别人问我这个问题，因为我们真的不知道评估需要多少钱。这是一个“个别化”定制的过程，取决于你的目的，调研的对象，还有调查的范围多大……这些所有的情况考虑在一起，是非常复杂的，我们都是单个项目单个报价，每个报价之间没有可比性和可以参考的依据。我们团队用了10年左右的时间积累了一批人，这批人一直在做的评估，后来我们发现可以把这些经验贡献到行业里面，所以说我们的评估成本相对来说是，有时候会把知识积累的这部分作为公益输出，不计入成本。
如果非要我说个数，我可以告诉大家我们过去几年的费用结果。大体上分为三个档次，
我们第一个档次上的评估，实际上评估会非常详细的告诉大家，你的生产产品是什么，以及生产过程之中非常重要的项目关键性节点、模式和技术的一个评价，基本上我们可以通过很短的时间去把握住这个项目最核心的精髓，这个取决于我们很长时间的积累和我们的评估方法。这是我们能够做的最小项目闭环范围内的评估，是从项目产品到其生产过程再到抽检核正过程，我们能够节约成本的就是第三步的核正，一个生产过程核心全部了解以后，我们就能够出一个相对来说比较接近真实的报告。这个情况下，我们可以把评估费用压缩在10万以内。同时，我们每年还会有一些行业内草根组织做的优质项目，这批项目，我们会有一个标准，就是项目踏踏实实，我们的评估确实解决实际中的问题，同时项目非常具有潜力和挖掘的作用，他们的确有需求，但可能无法承担高额的费用，我们用这种方式评估，还把费用降到5万以内的成本，不计智力投入。因为我们认为这个评估不在于钱多少，就跟宋老师愿意额外花38万一样，我们愿意做这部分的行业贡献，这个是我们第一档次的评估。
第二档次的评估有时候是十几万、二十几万、三十几万的都有，一般是在50万以内，这个评估实际上就是比第一个档次的评估增加了系统核正测量的工作，和做更大范围内调研。这种评估其实更适用于基金会，我们用这种类型的评估来解决一些基金会重点项目的关键性问题。第三档次的评估会更加精细化和系统全面，这样的评估需要做大范围内的社会调查，包括随机干预实验等等，这个过程的成本就很高了。目前我们这个层级的评估基本上也在百万以内，但其实大家也知道，没有上限。
我们希望大家认同评估的价值，专业的人力成本、直接测量的成本等等是必须的，我们培育一个评估人员的投入是非常漫长的过程，大概10年的时间才培育出来一个团队做这个事情。虽然我们也愿意去做贡献，但是我们不希望用我们的标准去衡量其他的评估机构。
王彩霞：我也做个呼吁，中国社会组织的发展还是处于一个基础阶段，尤其是第三方评估机构，也需要一个培育的过程，所以我们呼吁委托方也投入一定的资源去培育他们，谢谢。
冀岩：我们从去年开始，尝试着眼未来，跨出公益行业，引进企业的生产方式，或者方法论，从现在大家觉得不太满意的状态，再往前一步去发展。我们在调研的过程中，听到或者是观察到访谈到这样的两种可能性，第一种是，资金量未来有可能会非常非常大，比如说在影响力评估上，个别基金会觉得这是标志性的项目，想把它打造成为行业的一个标杆，投入是值得的，可能是上百万级。还有一种可能性是AI、大数据，这方面我们已经有人在做了，有的基金会已经开始在在细分领域里积淀，当数据积淀一定程度的时候，成本就会足够的低。
陈薇：收费永远是很头疼的一件事情，收高了不做，收低了赔本。还有一个问题就是到底向谁收费？我认为评估费最好从项目费里出，其实5%、10%都是一厢情愿，我们要根据所投入的人力物力和精力来做这个事情。到底评估收费有多高，其实就看管理者对评估的重视程度。如果非常重视，那么就会做的非常细，罗列2-3页，有可能10页的目标。如果说管理者不重视，评估就是走过场，不要把评估的收入放在项目方上，项目方肯定觉得评估费越低越好。
世界上没有完全两个相同的鸡蛋是一样的，因为它不能复制，它也不能批量化生产，只能是针对每个项目的特异性，一点一点的进行评估。如果只是走马观花，那根本就不需要评估。
金敏超：最后的时间，专家怎么看评估收费这个问题？
庄爱玲：评估取决于项目的复杂程度有多高，合规是最简单的，但是如果你想去做影响力评估或者是投资回报的评估，那复杂性非常高。第二个部分，本地和出差成本是不同。第三个部分，看谁去评估，6年的评估人员和新员工去评估，成本就大不一样了。另外还有一个部分，就是在实施的过程中，根据目标的设定以及复杂性进行一些调整。在这样的基础上，如果你的成本压的太低了，可能我就不接了，因为最后做出来的东西只是凑合的话，要砸自己的品牌，同时也要砸资方的项目品牌，甚至包括受助方等等的，都会受到影响的。
另外不知道大家有没有观察，现在政府购买有招投标就必然要有评估，因为他需要有第三方背书。但是有一个有趣的趋势，就是评估的预算在下降，评估的内容在增加，这样可能会带来一些风险。
最后就是每一个项目中都有一些风险，评估方一定要看到，要跟资方和项目方讨论。其实我们有很多评估可能还加一些辅导、能力建设，怎么样把风险回避掉，把风险影响尽量降到最低。
宋映泉：关于评估成本，我觉得不同的评估机构给的价格不一样，我们也不是评估机构，而研究性质的。我们如果觉得项目是好的，有潜力的，可以借助这样的评估了解这个领域的社会问题，有效的去干预，可能会产生政策影响，我们就会愿意去做。所以一个好的项目，它是值得好的评估的。我听到有人在批评REAP（陕西师范大学教育实验经济研究所）做的评估太贵了。但我觉得好的评估确实要花很多钱，样本、采集的数据，这是非常专业的。一句话就是，不要说REAP的评估太贵，也不要说我们的贵。
陶传进：非常尊重前面各位发言，我在他们之外加一点补充吧，要不然我就跟他们说重了。我是站在社会组织，公益组织的角度来说的。比如说我手里拿着2B铅笔，然后我到一个2B铅笔生产厂家去，我要想评估他这个铅笔我就有一种办法——你就给我生产一根铅笔，不要把你们厂所有铅笔拿出来让我评，更不要到学生考试现场去看每一个人写，你就给我生产一根铅笔看看。如果我是专家，是企业生产专家，是铅笔制造专家，这根铅笔我能不能评，能不能就这根铅笔打一个分？能吧，这个需要多少钱，你还不知道？你就把按钮一开，电源一开，当然这个生产过程会耗多少成本，我先不管，就为了评估。这个铅笔评估的成本需要多高？这个是一个必须要关注到的视角，这个视角有个什么好处？它不单是节省成本，而且生产过程中的所有的技术参数都含进去了。
我们评估就是看你预先设定的东西在结果中是否兑现，有几个项目建议书承诺项目最后能带来5%，7%的改变？没有。但是几乎都承诺铅笔通过什么德国引进的先进生产链加工。他承诺的是这个，我就把你的承诺拿来看一下，生产加工过程就是一个事实，是客观的事实，只有你能看明白才能进行评估。评估完了以后，我还可以核正这个铅笔，再来检测你的指标，所以这个是和当时预设最好的对应。
我个人认为当一根铅笔评估不出来的时候，以后一万只铅笔评估的结果我不信。这三条是公益组织如果不想做大规模评估，不想跟出资方说社会受益多大，我只想证明技术含量和铅笔得多少分的时候，一个额外的选择。如果是公益组织觉得这个还不过瘾，觉得这个不足以说明问题，我们就去做抽检，抽检用概率来表达它的波动、离差。这是另外一套评估思路，这套思路现在还做不出来，所以大家还是该花钱花钱。
金敏超：大家有没有什么样的问题？想要问我们在座的嘉宾。
参与者：四位老师好，我是来自三一基金会的，其实我这个问题也是帮基金会说一句话，就是作为资方面临的一个困扰：基金会问责可能是必要的一部分，但我们非常愿意给项目方这样一个成长和学习的机会，但是我们可能会担心的一个很重要的问题，就是评估方我们找谁？以及他们的资质问题。关于这个专业性的这一部分，我其实也蛮想跟各位老师探讨，对于资方，大家有什么样的一些建议能够让我们比较好的去找到最合适的评估方的伙伴。
我可能提两部分，第一个可能是专家老师这边，我可能希望获得一个解答，另外我知道明德现在在建立一个评估方的平台，也非常希望听彩霞姐给到我们一些建议。专家可能想先问一下庄老师怎么样去选最合适的评估方。
庄爱玲：我觉得还是跟理念有关，评估方作为一个公益机构也有使命愿景，有的评估方主要是去做合规评估，有的评估方加入能力建设，或者促进行业发展是他的使命。
第二，评估方可能在某一个领域特别的强，如果你做的是和这个领域密切相关的项目，那你可能要去找这样的评估机构。还有地域问题，不仅仅是考虑成本，还有机构对本地的了解。
还有一种可能就是，不仅仅要看评估机构的专业性，而且要看它在这个行业的影响力，他给你评了之后，实际上他给你备书了。
王彩霞：评估既是道也是术，可能要从两个方面分析，“道”可以和而不同，评估有的是共同的，我觉得它评估的底层思维是一致的，但它的理念可以有不同，没有哪个机构一定是最好的，但是我觉得有最合适的。
对于“术”我补充一个背景。明德是在民政部注册的全国性民非，也是12年清华大学NGO研究所发起成立的，一开始明德就定位是一个推动行业发展的平台机构，但前几年的发展并没有聚焦在评估。通过前几年的摸索，这两年开始逐渐聚焦于评估。我们通过全国各地的调研发现，评估的需求和供给是非常不对等的，需求很大，但是供给的量和质都很欠缺。作为一个全国性的评估机构，感觉有这个责任去推动行业发展，所以我们就发起成立了一个公益行业评估支持平台。这个平台我们主要是促进评估人才和评估机构的培育发展，提升公益的有效性和专业性。评估人才方面，不仅仅是第三方评估机构的评估人员，也包含社会组织的自评估人员与执行人员。明德的目标是使每一位公益从业人员具有评估思维。
关于评估技术，未来我们会开发一个评估质量的控制体系，给大家建立一个相对的标杆。既能帮助做评估的人与机构知道怎样做评估更加专业，提升自身专业性与规范性，同时也可供委托方来衡量评估的质量以选择合适的评估方。
参与者：我想分享一下，前几年参加了澳大利亚的评估协会年会，大概两天的时间。我们看西方国家现在的评估，恰恰不是把第三方给消灭，而是大量培育第三方。我觉得现在可能还不够“多”，不够“杂”。生态要发展，就要有一批评估组织、评估公司、评估的专业人才，然后我们才会谈具体的这些手法。比如儿童类的项目，怎么考虑伦理，所以我倒是有一个期待，是不是以后我们可以有更多案例方面的讨论，我觉得那些讨论是会有引领价值的。
参与者：我是从长春过来的，今天说一点具体问题，希望得到专家解答。我理论上可能要差一些，但是也在积极探索，这是我在实际过程中碰到过的问题，就一年的项目监测而言，频次多少为宜？这是第一个问题，是给评估方的。第二个是给项目方的：10万块钱的项目，需要配几名专业人员和相关人员？
宋映泉：我简单回答，这取决于你的项目，给不出一个简单的频次。项目方可能知道什么时候项目执行达到高峰，评估方可能还不便决定，需要双方共同讨论。另一个和人员费用是有关系的，要具体问题具体分析。
陶传进：监测多少次，实际上是秉持什么理念，信用机制建构到什么程度。如果没建构的话，可能每天跟都不一定管用。信用机制建构以后可能一次都不用。所以多少次没有一个标准答案。第二个团队运作的问题，在项目设计中就要解决。评估是看项目运转流畅不流畅，卡壳在哪里，你必须帮他解决这个问题，不是标准，没有标准答案，团队要保证在不丢失技术的情况下的流畅性。
庄爱玲：监测其实是自我要求，不断的去检查反思，好在哪里，如何提升。第二个问题，其实和组织运营，成本管理，以及模块管理等等流程都是有相关性的。评估本身就像企业运营，既要质量、数量，同时还要兼顾效率。
参与者：我不代表任何一方的利益，就想提个问题。第三方评估机构的结果由谁问责，怎么问责。因为资方、项目方可能拿到的就是一个报告，但是实际上整个数据收集的过程，我们是不知道的，而数据的质量是直接影响到评估结果的。
庄爱玲：实际上现在已经有评估方再被评估。第二，很多的数据是大家共建的，当建构这个数据库的时候，其实几方都能看到数据，那么它的准确性、真实性等大家是有共识的，在这样的基础上，不敢保证百分之百都是准确或科学的，但是最大限度上去达到那个目标。
我觉得一个好的评估，不是只给了报告、数据、漂亮的图表，还有一部分就是一定要去分享，要去解释这些数据图表。第三，就是要想如何去改善，给出建议。好的评估其实还要有沟通、跟进，使得下一次的评估在那个基础上再往前再走。
王彩霞：对评估的评估，也可叫元评估，如果想要很有效的实现它，需要我们有一个行业的标准，一旦有了行业标准，就有了一个监管的标准，自然的他就会去反馈到各个层面。第二点，现在比较欠缺对评估结果的应用。元评估也需要经费，但是目前评估经费非常有限的情况下，委托方基本上不会再给元评估的经费。其实目前可以由第三方评估机构牵头，找到评估过程中的各个利益相关方沟通反馈整个评估过程中哪些地方可以完善，存在什么问题。这可以帮助委托方问责。
宋映泉：其实评估在一些成熟的一些国家和地区是非常专业的，我曾经被某机构（资方）邀请去香港评估某课外辅导项目，香港大学的团队已经给项目方作了评估，他们资方就邀请我作为独立第三方对他们已经有的评估工作进行评估。我们自己的一些评估，举歌路营这个例子，这几个资方会找专家来评估，我也去评估过REAP做的一些评估项目。我觉得这个是逐渐的专业化，而不是撂一堆报告在那就是不问责，这个是逐渐成熟和成长的一个community。
卢玮静：我觉得最核心的是出资方的市场选择，我们做每个评估都是战战兢兢的，因为我们生怕不能支持到他们或者解决问题，生怕我们把握不了整个项目最精髓的部分。如果真的能够帮助他们解决问题，我觉得就能够形成一套市场机制——这家评估机构合适，下回可能还会选择他，不合适那你就不选择他。市场是最好的形成问责的环境，现在是评估机构实在太少了，大家评估方法太少，整个行业需要更加丰富多元的体系，而不是单一或者统一的内容，大家可以在追求有效性、回应执行效果和效率上发挥不同方法的特长，形成开放的格局，最终让市场来进行选择。
金敏超：感谢大家的回应，咱们今天可以一直讨论下去，但也得有一个未完成的完成。但我们希望这个讨论可以继续进行下去，因为讲评估其实一次沙龙讲不清楚，希望菁莪沙龙，或者别的平台能够提供一种持续讨论，对行业产生激荡。
评估里我们今天就请到了三方，其实还有一方，就没是受益方。我们一直说项目方是最弱势的，但受益方其实才是最弱势的。我们也去展望未来，怎么样能够让受益方在这个权力关系里面能够有更好的“位置”，对公益项目更有话语权，我们现在做的评估很多时候在往这个方向努力。
还有一点想要分享，评估是一个螺旋式上升的过程，一定是很曲折的事。今天可能什么共识都不能达成，但你去尝试，试几次就会知道自己的“口味”是什么。我最后回应什么是好评估，可能这就跟谈恋爱一样，不是最漂亮、最有钱、最帅气的那个，而是最适合你的那个。
最后我会希望这个过程能够稍微“慢下来”，多能够有反思和总结，跟砌砖一样，不能什么东西都往上盖，我们要夯实了一块一块往上码。别搭好了以后发现是豆腐渣工程，得打倒，这个对于我们公益行业伤不起……希望这个不是一个句号，只是一个逗号，大家结束后电话都留下来，微信都加起来，了解市场上面有什么样的资方、项目方、评估方。
最后是感谢，特别感谢所有在场的专家、嘉宾和很厉害的参与者。我们也做评估，希望能够推动行业发展，也希望之后可以和大家有更多的交流，再次感谢我们所有的伙伴。
----- 本期沙龙内容完 -----
億方公益沙龙往期回顾：
总第一期 [201702] | 公益咨询“从0到1” 点击查看【上】、【下】
总第二期 [201703] | 公益市场的“两个顾客” 点击查看完整版实录
总第三期 [201704] | 规模化解决社会问题的意义 点击查看完整版实录
总第四期 [201705] | 公益项目评估的两个视角 点击查看完整版实录
总第五期 [201706] | 投资思维下的资助之道 点击查看完整版实录
总第六期 [201708] | 商业向善 点击查看完整版实录
总第七期 [201709] | 基金会与非营利组织项目合作 点击查看完整版实录
总第八期 [201711] | 实践者能生产知识吗？ 点击查看完整版实录
总第九期 [201803] | 短平快的互联网筹款时代，公益组织如何计长远？ 点击查看完整版实录
关于億方公益沙龙
如何更好地联结研究和实践是当下中国公益面临的大挑战之一。如果不了解实践，研究者可能无法提出有针对的研究问题，这样的研究很难有效总结实践经验，也解答不了实践者的困惑。另一方面，实践者因为缺乏理论和方法上的严谨训练，往往难以系统地梳理过往的经验并将其提炼至普适的理论，导致好的问题解决方案成为偶然个案，困于不能复制与推广。
億方公益沙龙由億方基金会菁莪伙伴主持，秉承億方公益基金会“激发民间智慧行动，创建公平美好社会”的愿景，践行菁莪计划项目“知行合一，止于至善”的理念。我们希望通过沙龙，促进公益研究者、实践者及相关利益群体的多方对话，思考公益研究和实践面临的各种问题和困惑，达成各方协作共同推动研究与实践的更好联结，最终促进公益发展。
关于菁莪计划
“菁莪计划”是由北京億方公益基金会于2016年发起的支持公益青年行动研究人才项目，该项目倡导“知行合一，止于至善”的理念，支持具有务实、专业、前瞻、有意愿或正在做行动研究的青年人提高其研究能力，进而提升公益界的研究水平。研究者通过对某一关键社会问题进行行动研究，寻求有效解决途径，最终推动公益行业发展及社会的积极变革。
目前，菁莪一期及二期伙伴共计18人，不同的发展经历的青年学者共同致力于公益行动研究，正在逐步形成多元化菁莪伙伴价值共同体。
億方基金会将与菁莪伙伴共同打造有效的“菁莪计划平台”，组织公益沙龙等各种形式的活动，为公益同仁提供交流学习的机会，促进公益行业发展。
億方「菁莪计划」助力公益研究伙伴坚定前行！
了解億方：
億方公益基金会官方网站 www.yifangfoundation.org
☆★ ---------------------------- ☆★
欢迎关注億方公益基金会 微信公众号：亿方公益
添加小贴士：手指长按上方二维码图片，
选择“识别图中二维码”，就可以添加关注我们啦！！！